匠心筑梦 | 数据驱动发展，开放共赢未来——农业银行大数据团队剪影

文 / 中国农业银行研发中心    郝英   何可

农业银行大数据团队是一支敢闯敢创的队伍，他们敢于挑战、勇于创新，八年来严谨细致、坚韧不拔，在数据领域踏实前行，坚持安全可控，为数亿客户提供PB级别数据服务，支撑全行8大业务领域数据120多个应用“百花齐放”；拼搏创新的同时也不忘开放共赢，与人民银行、国家税务局、审计署、工行、邮储、中信等30余家国家机关和公司交流大数据平台建设经验，举办的雅典娜大赛汇聚2000多名精英同台竞技；团队由研发中心北研开发四部和北研平台二部12个职能组组成，打造的平台荣获中国人民银行银行科技发展奖一等奖、二等奖、软课题三等奖，银监会银行业信息科技风险管理课题一类研究成果，申请专利100余项，树立了中国数据库基础应用安全可控的一面旗帜。

坚韧不拔，锲而不舍——集市报送的“护卫队”

非投产日的操作间总是有些冷清，只有集市小分队在这里“排排坐”，有的在摸底新需求的数据情况，有的在分析分行上报的数据咨询问题，有的在排查数据异常情况。仅个人集市小分队每年就会响应近百批次的新需求，同时还肩负上万个批量作业的运维工作，保障每日近2000个高时效作业，为20多个下游系统提供稳定服务，构建个人零售领域标签体系，为实现个人客户“千人千面”和标签数据个性化应用奠定了坚实的基础。

个人集市小分队只是八大集市小分队的一个缩影。经过千锤百炼的八大集市小分队，个个都是数据专家。他们最懂数据，每听到一个词立刻对相关的数据模型了然于心，对各个业务领域的数据特点娓娓道来；他们最懂模型设计，从文字需求到模型落地，把最具价值的数据沉淀到模型中，把最真实的数据送到消费方；他们最能担当，能保证上万作业的数据集市稳定运行，离不开团队心中藏着处女座的细腻，离不开他们对数据的痴狂。

凌晨时分，人们都还在睡梦之中，统一指标库系统负责人苏强早早就醒了，原来他在询问作业链的运行情况。统一指标库系统承担了每天8：30前向行领导报送重点经营指标的任务，为确保每日报送工作顺利完成，项目组采取多项措施确保重点作业加工路径最短、加工速度最快，并且通过配置监控条件，对指标数据异常情况及时预警。每个指标的加工、每天的数据报送都离不开他的辛苦付出。付出是考勤系统中的“非工作日有打卡记录”，是“2020年已休时长”下的数字0，是一条条凌晨询问批量进度的微信记录。有付出就有收获，收获是全年投产零缺陷后的自豪，是重点指标数据报送准确率100%、准时率99%的欣慰。

同样承担着报送任务的还有银保监会全国银行业理财信息登记直联系统项目组，一个月完成方案评审、投产，且必须具备监管机构现场验收条件，同时保证报送数据的精确，这离不开项目组对每个报送任务的高标准严要求。每个监管报送任务背后都凝聚着项目组力争报送数据“分毫不差”的严谨态度：面对十余个多主题信息报送，他们做到了上千个信息项的“全自动加工”；面对上千条高复杂度的数据关联校验，他们做到了“精确匹配”；面对超大规模万亿级别的贷款余额，他们做到了与总账“一分不差”。这是每个数据人的使命和对大数据事业的态度，正是这种态度和精神，让农行在多项监管数据报送工作考核中名列前茅。

拼搏奋斗，勇往直前——引领突破的“领头羊”

周六的稻香湖C7楼灯火通明，这是分析师工作台今年第12次的投产支持现场，项目经理朱红伟正在做投产最后一步验证，作为行内DataOps标准制定负责人和部门DevOps负责人，他带领项目组深耕敏捷开发和DataOps标准，基本每周都有投产变更或者需求评审。“快”是他们的代名词，需求交付快，开发测试快，投产变更快，将开发周期硬是从两个月压缩到两周。他们奋力向前，致力于为全行分析师服务奠定坚实基础。践行敏捷理念，项目建设全程采用敏捷开发模式，实现从无到有，从有到优的创意实现交付。深耕项目研发，打通数据应用全链路通路，持续提升数据服务能力；联合个金部打造个人实时存款大屏，服务分行设计14个大屏报告，为信贷中台风险集中监控中心提供可视化服务，助力农行个金、分行、风控领域业务快速发展。

凌晨两点，一阵阵急促的手机铃声响起，轮值应急小组接到通知，大数据平台一部分批量作业运行耗时较长，产生预警，可能影响下游监管报送以及高时效作业。收到通知的成员赶紧穿好衣服，轻手轻脚地出了门，生怕吵醒熟睡中的家人。他们一边电话沟通收集信息，一边从四面八方奔赴现场，到达操作间后立刻进入状态，沉稳分析现场情况，迅速定位作业问题，并着手开展应急处置，排查问题原因，评估影响范围，排除其余隐患，确保系统各优先级作业依次平稳运行。这一干就是一个通宵，一直奋战到天空微明，问题解决后，大家才松了一口气，兴奋地互相击掌庆祝。

周末的子夜，投产窗口总能看到智能反欺诈平台项目经理饶星的身影，有时他在完成投产的最后一步验证，有时他在整理投产过程产生的一手材料，以备下周投产复盘所用。“愚者用鲜血换取教训，智者用教训避免事故”，用这句话总结项目组投产特护的工作非常贴切。“稳”是他们的代名词，业务知识过硬、技术水平够强和善于学习总结是项目团队的一大特色。生产安全是研发第一生命线，项目组勤恳实干，24小时运维，践行风控数字化转型，实现企业级智能反欺诈平台从无到有，从有到优，破解传统风控烟囱式建设、防控手段单一的痛点，实现全行反欺诈风险一体化管控。通过他们的努力，风控大数据从“辅助决策”升级为“核心驱动”，成为提升欺诈风险管控能力的主要保障。

在研发和运维的过程中，这样的事例还有很多，整个团队始终保持着勤勉敬业、细致负责、无私忘我的精神，也正是在这一次次的历练中造就了一支能打硬仗的数据工程师团队，取得了一系列亮眼的成绩。

开拓创新，锐意进取——紧跟前沿的“先锋队”

内外部数据入库、AI和BI小分队是大数据团队创新进取的排头兵，是紧跟时代前沿的先锋队。

农行数字化转型提速，各业务条线数据需求旺盛而急迫，内外部数据入库团队锐意进取、响应需求，开创了一整套配置化自助入库方案，创新机制流程、落地配套工具，全面推动数据入库“攻坚战”，周密组织分阶段有序推进内外部数据快速入库，内部数据整体入库实施能力提升11.5倍，共计新增入库数据表1万余张，外部数据单个接口开发周期从2个月缩短到20余天，数据范围覆盖全行客户，满足客户营销、信用管理等多个业务线的内外部数据消费需求，为金融同业海量数据入库的工具研发、组织实施、管理协同提供了宝贵借鉴。

冲在创新前沿的还有人才济济、大神云集的AI团队。AI平台架构师王鑫毅是行内最早一批研究及应用Hadoop技术的大咖，全方面深入钻研AI各领域技术栈，是整个团队的技术灵魂。2015年至今，AI平台在他的主持下不断迭代优化，在行内最先探索容器化部署、平台微服务改造上云试点应用，最早落地MLOps理念，先进的架构有力地支撑了农行开展600多个数据分析项目，支持业务自助AI模型研发、部署。智能推荐项目的负责人耿晓阳总是默默做事，虽话语不多，但做什么都让领导放心，是名副其实的网金领域数据服务“专家”，他在行内首次提出和实现了智能化、个性化的推荐数据服务，行内首次探索基于智能模型的实时推荐，引入基于强化学习的在线推荐模型，为网络金融领域尤其是农行的智能掌银发展提供个性化的数据支撑。团队中还有一位深耕OCR引擎建设与核心算法自主研究的大神王臻，他喜欢武术，喜欢体悟其中的玄妙，正如他喜欢钻研算法一样。他提出的基于Attention机制构建自研票据识别模型，具有良好的识别准确率，在不需要提供关于文本位置标注的训练数据的情况下，可以直接对整张票据进行OCR训练与识别，适合于农行场景，字段准确率在95%以上，其效果处于业界先进水平。

BI团队的的每个人都是敢于挑战、勇于创新的先行者，历时两年多，团队完成了多项重点技术攻关，包括基于大数据平台实现各系统数据统一管控和计算存储资源的弹性扩展等；研发热点加速技术，使数据访问延时从170ms降低至2ms，在多并发场景下的数据分析查询方面实现了质的飞跃，得到了行领导和各分行的高度认可；拥抱新技术新理念，不断提升BI领域的服务能力，为业务赋能。BI领域建设如雨后春笋般节节攀升，不断取得新成绩、新进步，因为有他们，大数据平台建设才能不断创新，书写新的奇迹。

虽然团队中女生不多，但是巾帼不让须眉，几位宝妈也是团队主力，尤其是AI特色化和隐私计算项目的负责人樊明璐，一人身兼数职，在各种充满挑战的工作中她都能灵活应对，主动钻研新技术，为多样化场景需求提供技术支撑；在党团建设中更是将个人能力发挥到极致，作为团总支书记承接研发中心团委主协办任务十余项，助力青年人才培养；承接“人才可持续发展薪酬模型”党建项目，助力中心人力数字化改革，是典型的业技数融合复合型人才。

开放共赢，大行担当——打造大数据AI品牌

刚刚结束第四届数字中国建设峰会农行展区的筹备，徐安滢又踏上了奔赴苏州的火车，作为综合管理组的一员，她的任务却有些不同，从兼职分析师到产品经理、项目经理，从雅典娜大赛筹备到金融密码杯、全行技术大会，她的工作更多的是创新补位，为技术大咖们提供更开放的环境，争取更多机会。她在行内率先提出联邦学习探索，纳入中心新技术报告，发起总分联动创新任务，参与信通院隐私计算联盟和金融科技产业联盟牵头组织30多家机构撰写的金融业隐私计算技术与应用场景研究报告，与工行联合牵头制订联邦学习互联互通标准、技术白皮书，代表联邦学习创新团队加入开源社区Fate技术指导委员会，参与Fate发展方向的制定。

同样代表农行大数据团队发声的还有DataOps团队，首次在业内提出AI全流程标准，将大数据平台经验向社会分享，与人民银行、国家税务局、审计署、工行、邮储、中信等30余家国家机关和公司交流大数据平台建设经验，牵头制订信通院DataOps行业标准，为金融科技AI体系建设贡献一份力量，体现大行担当。

“路漫漫其修远兮，吾将上下而求索”，在数字化转型大潮中，数据价值日益凸显，大数据事业仍然任重而道远，安全可控大数据平台项目团队的每个人都将以饱满的热情投身到大数据平台的建设中去，为农业银行数字化转型贡献自己的一份力量！